三者关系

人工智能

人工智能诞生于20世纪50年代。

符号主义人工智能

符号主义人工智能适合用来解决定义明确的逻辑问题，比如下象棋。

于是人们研究出了一种新的方法来替代符号主义人工智能，这就是机器学习（machine learning）。

机器学习 - 史前时代

人工智能的里程碑：图灵测试

人工智能先驱Alan Turing在 1950 年发表论文《计算机器和智能》。

机器学习与图灵

机器学习的概念来自于图灵引述 Lovelace伯爵夫人 Ada 的问题后的进一步思考：

新的编程范式

机器学习

机器学习在 20 世纪 90 年代才开始蓬勃发展。

• 驱动力：速度更快的硬件与更大的数据集。
• 以工程为导向：想法更多地是靠实践来证明，而不是靠理论推导。

对比：经典的统计分析方法（比如贝叶斯分析）。

机器学习算法三要素

给定包含预期结果的示例，机器学习将会发现执行一项数据处理任务的规则。

• 输入数据点。
• 预期输出的示例。
• 衡量算法效果好坏的方法。

机器学习算法的核心问题

机器学习模型将输入数据变换为有意义的输出，这是一个从已知的输入和输出示例中进行“学习”的过程。

机器学习和深度学习的核心问题在于有意义地变换数据，换句话说，在于学习输入数据的有用表示（representation）——这种表示可以让数据更接近预期输出。

数据变换

• 两张纸代表了不同的类别；
• 解开纸团的过程就是学习的过程：
  • 展开纸张的操作就是数据变换。
  • 寻找更好的展开状态就是寻找更好的数据表示。

黑白点划分问题

• 输入是点的坐标；
• 预期输出是点的颜色；
• 衡量算法效果好坏的一种方法是，正确分类的点所占的百分比。

問題：我们人为定义了坐标变换。

机器学习 - 学习与假设空间

深度学习之“深度”

深度学习 - 层、深度

深度学习 - 神经网络（neural network）

神经网络这一术语来自于神经生物学，然而，虽然深度学习的一些核心概念是从人们对大脑的理解中汲取部分灵感而形成的，但没有证据表明大脑的学习机制与现代深度学习模型所使用的相同。

就表现形式而言，深度学习是从数据中学习表示的一种数学框架。

小结

• 机器学习：是将输入（比如图像）映射到目标（比如标签“猫”），这一过程是通过观察许多输入和目标的示例来完成的。
• 深度神经网络通过一系列简单的数据变换（层）来实现这种输入到目标的映射，而这些数据变换都是通过观察示例学习到的。

下面用三张图来具体看一下深度学习的过程是如何发生的。

神经网络是由其权重来参数化

神经网络中每层对输入数据所做的具体操作保存在该层的权重（weight）中，其本质是一串数字，有时也被称为该层的参数（parameter）。

损失函数用来衡量网络输出结果的质量

想要控制神经网络的输出，就需要能够衡量该输出与预期值之间的距离。 这是神经网络损失函数（loss function）的任务，该函数也叫目标函数（objective function）。

将损失值作为反馈信号来调节权重

深度学习的基本技巧是利用这个距离值作为反馈信号来对权重值进行微调，以降低当前示例对应的损失值。 这种调节由优化器（optimizer）来完成，它实现了所谓的反向传播（backpropagation）算法，这是深度学习的核心算法。

量变导致质变

一开始对神经网络的权重随机赋值，因此网络只是实现了一系列随机变换。 其输出结果自然也和理想值相去甚远，相应地，损失值也很高。

但随着网络处理的示例越来越多，权重值也在向正确的方向逐步微调，损失值也逐渐降低。 这就是训练循环（training loop），将这种循环重复足够多的次数（通常对数千个示例进行数十次迭代），得到的权重值可以使损失函数最小。

深度学习已经取得的进展

• 接近（或超过）人类水平的图像分类
• 接近人类水平的语音识别
• 接近人类水平的手写文字转录
• 更好的机器翻译
• 更好的文本到语音转换
• 数字助理，比如谷歌即时（Google Now）和亚马逊 Alexa
• 接近人类水平的自动驾驶
• 更好的广告定向投放，Google、百度、必应都在使用
• 更好的网络搜索结果
• 能够回答用自然语言提出的问题
• 在围棋上战胜人类

不要相信短期炒作

我们尤其不应该把达到人类水平的通用智能（human-level general intelligence）的讨论太当回事。 在短期内期望过高的风险是，一旦技术上没有实现，那么研究投资将会停止，而这会导致在很长一段时间内进展缓慢。

两次人工智能冬天（AI winter）：

• 20 世纪 60 年代的符号主义人工智能
• 20 世纪 80 年代的符号主义人工智能——专家系统（expert system）

我们可能正在见证人工智能炒作与让人失望的第三次循环，而且我们仍处于极度乐观的阶段。 最好的做法是降低我们的短期期望，确保对这一技术领域不太了解的人能够清楚地知道深度学习能做什么、不能做什么。

为什么要了解经典机器学习方法？

深度学习并不是机器学习的第一次成功。 可以这样说，当前工业界所使用的绝大部分机器学习算法都不是深度学习算法。

概率建模（probabilistic modeling）

概率建模是统计学原理在数据分析中的应用，在统计学习课程中专门讲授。 它是最早的机器学习形式之一，至今仍在广泛使用。

• 其中最有名的算法之一就是朴素贝叶斯（Naive Bayes）算法，比计算机出现得还要早，在其第一次被计算机实现（很可能追溯到 20 世纪 50 年代）的几十年前就已经靠人工计算来应用了。

• 另一个密切相关的模型是 logistic 回归（logistic regression，简称 logreg），它有时被认为是现代机器学习的“hello world”。 不要被它的名称所误导——logreg 是一种分类算法，而不是回归算法。

早期神经网络

神经网络早期的迭代方法已经完全被本章所介绍的现代方法所取代。

• 人们早在 20 世纪 50 年代就将神经网络作为玩具项目，但在很长一段时间内，一直没有训练大型神经网络的有效方法。

• 在 20 世纪 80 年代中期很多人都独立地重新发现了反向传播算法，并开始将其应用于神经网络。

贝尔实验室于 1989 年第一次成功实现了神经网络的实践应用，当时 Yann LeCun 将卷积神经网络的早期思想与反向传播算法相结合，并将其应用于手写数字分类问题，由此得到名为LeNet 的网络，在 20 世纪 90 年代被美国邮政署采用，用于自动读取信封上的邮政编码。

核方法（kernel method）

SVM 刚刚出现时，在简单的分类问题上表现出了最好的性能，很快就使人们将神经网络抛诸脑后。

核方法 - 核技巧（kernel trick）

将数据映射到高维表示从而使分类问题简化？在实践中通常是难以计算的。

核方法 - 评价

优点

• SVM 刚刚出现时，在简单的分类问题上表现出了最好的性能。
• 大量的理论支持，适合用于严肃的数学分析，因而非常易于理解和解释。

缺点

• 很难扩展到大型数据集，并且在图像分类等感知问题上的效果也不好。
• SVM是一种比较浅层的方法，因此要想将其应用于感知问题，首先需要手动提取出有用的表示（这叫作特征工程），这一步骤很难，而且不稳定。

决策树、随机森林与梯度提升机

决策树（decision tree）是类似于流程图的结构，可视化和解释都很简单。 到了 2010 年，决策树经常比核方法更受欢迎。

决策树、随机森林与梯度提升机

Kaggle 竞赛 - 向优秀的人学习

要想了解机器学习算法和工具的现状，一个好方法是看一下 Kaggle 上的机器学习竞赛：哪种算法能够可靠地赢得竞赛呢？顶级参赛者都使用哪些工具？

在 2017 年左右，Kaggle 上主要有两大方法：梯度提升机和深度学习。具体而言：

• 梯度提升机用于处理结构化数据的问题，大多使用 XGBoost 库。
• 深度学习则用于图像分类等感知问题，大多使用 Keras 库。

神经网络的巅峰

• 自 2012 年以来，深度卷积神经网络（convnet）已成为所有计算机视觉任务的首选算法。
• 更一般地说，它在所有感知任务上都有效。
• 在 2015 年和 2016 年的主要计算机视觉会议上，几乎所有演讲都与 convnet 有关。
• 与此同时，深度学习也在许多其他类型的问题上得到应用，比如自然语言处理。
• 它已经在大量应用中完全取代了 SVM 与决策树。

深度学习有何不同?

深度学习发展得如此迅速，主要原因在于它在很多问题上都表现出更好的性能。

深度学习还让解决问题变得更加简单，因为它将特征工程完全自动化，而这曾经是机器学习工作流程中最关键的一步。

什么是特征工程?

• 先前的机器学习技术（浅层学习）需要手动设计表示空间之间的数据变换操作。
• 深度学习完全将这个步骤自动化：利用深度学习，你可以一次性学习所有特征。

深度学习不是浅层学习的简单叠加

在实践中，如果连续应用浅层学习方法，其收益会随着层数增加迅速降低，因为三层模型中最优的第一表示层并不是单层或双层模型中最优的第一表示层。

深度学习的变革性在于，模型可以在同一时间共同学习所有表示层，一切都由单一反馈信号来监督。

罗恩的选择

深度学习用于计算机视觉的两个关键思想，即卷积神经网络和反向传播，在 1989 年就已经为人们所知。

长短期记忆（LSTM，long short-term memory）算法是深度学习处理时间序列的基础，它在 1997 年就被开发出来了，而且此后几乎没有发生变化。

那么为什么深度学习在2012 年之后才开始取得成功？这二十年间发生了什么变化？

总的来说，三种技术力量在推动着机器学习的进步：

• 硬件。
• 数据集和测试基准。
• 算法上的改进。

机器学习是一门工程科学

只有当合适的数据和硬件可用于尝试新想法时（或者将旧想法的规模扩大，工程实践往往如此），才可能出现算法上的改进。

在 20 世纪 90 年代和 21 世纪前十年，真正的瓶颈在于数据和硬件。 但在这段时间内发生了下面这些事情：互联网高速发展，并且针对游戏市场的需求开发出了高性能图形芯片。

硬件

从 1990 年到 2010 年，非定制 CPU 的速度提高了约 5000 倍。

在 20 世纪前十年里，NVIDIA 和 AMD 等公司投资数十亿美元来开发快速的大规模并行芯片（图形处理器，GPU），以便为越来越逼真的视频游戏提供图形显示支持。

2007 年，NVIDIA 推出了 CUDA，作为其 GPU 系列的编程接口。

• 游戏中实时渲染复杂的3D场景需要大量的并行化矩阵计算。
• 非常巧合，深度神经网络也需要大量的并行化矩阵计算。

游戏玩家的力量

2016 年，Google 展示的张量处理器（TPU）比最好的 GPU 还要快 10 倍。

数据

人工智能有时被称为新的工业革命。 如果深度学习是这场革命的蒸汽机，那么数据就是煤炭，即驱动智能机器的原材料，没有煤炭一切皆不可能。

就数据而言，除了过去 20 年里存储硬件的指数级增长（遵循摩尔定律），最大的变革来自于互联网的兴起，它使得收集与分发用于机器学习的超大型数据集变得可行。

新的投资热潮

• 2011 年在人工智能方面的风险投资总额大约为 1900 万美元，几乎全都投给了浅层机器学习方法的实际应用。
• 到了 2014 年，这一数字已经涨到了 3.94 亿美元。
• 这三年里创办了数十家创业公司，试图从深度学习炒作中获利。
• Google、Facebook、百度、微软等大型科技公司已经在内部研究部门进行投资，其金额很可能已经超过了风险投资的现金流。
• 2013 年，Google 收购了深度学习创业公司 DeepMind，报道称收购价格为 5 亿美元。
• 2014年，百度在硅谷启动深度学习研究中心，并投资 3 亿美元。

“机器学习这一具有变革意义的核心技术将促使我们重新思考做所有事情的方式。 我们用心将其应用于所有产品，无论是搜索、广告、YouTube 还是 Google Play。 我们尚处于早期阶段，但你将会看到我们系统性地将机器学习应用于所有这些领域。”

– Google 首席执行官 Sundar Pichai

深度学习的大众化

这种趋势会持续吗？

深度神经网络成为企业投资和研究人员纷纷选择的方法，是否只是难以持续的昙花一现？

深度学习有几个重要的性质，证明了它确实是人工智能的革命，并且能长盛不衰。

• 简单：不需要特征工程，用户友好型库。
• 可扩展：高度并行的特性可以充分利用摩尔定律，小批量数据迭代训练的特性可以在任意大小的数据集上进行训练。
• 可复用：可用于连续在线学习，
• 可迁移：可以将训练好的模型迁移到不同领域的问题。

概念

理解机器学习的编程范式

注意：机器学习系统（即模型）是训练出来的，而不是人为编写出来的。

理解深度学习算法的工作流程

机器学习方法

深度学习的现在与未来

深度学习工作站的简单配置

conda create -n dl tensorflow-gpu keras-gpu

MNIST 手写数字分类：简单全连接